KV Cache Compression Through the Lens of Transform Coding
注意力感知变换编码压缩 KV Cache
🧭 LLM 推理 · KV Cache 压缩 ★ 深度解读
Technical University of Munich · Technical University of Darmstadt · MIT · Harvard University · Red Hat AI
用白化变换与反向注水按注意力输出失真分配 KV cache bit，5.8x 压缩下近无损
📌 工作参考价值（4 点）
- 长上下文 LLM 推理服务里，KV cache 是大头成本；这套方法只需离线校准集做白化 + 全局 bit 分配，在线仅做 per-token 标量量化，无额外训练，适合快速接入 vLLM/TensorRT-LLM 的量化路径。
- 注意力感知权重可直接复用：key 通道用 q_c^2 加权，value 通道用 W_O 行范数加权；对重要通道多给 bit，尾部通道给 0 bit 等价低秩裁剪，比 uniform precision 更稳，尤其适合商品描述、多轮会话历史、Agent memory 等长上下文场景。
- 校准数据混合思路值得照搬：FineWeb 与 OpenR1-Math 各半，同时覆盖通用文本和推理链；电商场景可替换为商品描述/搜索会话/推理 trace 混合，避免只在通用语料上过拟合。
- 工程细节有复用价值：保留前 4 个 token 与最近 128 token 全精度，按 block 16 重量化；GQA 下按 head-group 做 token-wise max scaling；在更 aggressive 的 2-bit 预算下，attention-aware 分配相对 var-only 优势更明显，可做服务分层压缩。